Marginal Entropy

释义 Definition

边缘熵：在信息论与概率统计中，指某个随机变量的边缘分布所对应的熵。若有联合分布 (p(x,y))，则变量 (X) 的边缘熵为
[ H(X) = -\sum_x p(x)\log p(x),\quad \text{其中 } p(x)=\sum_y p(x,y). ]
（常见于与联合熵、条件熵、互信息的对比与分解中。）

发音 Pronunciation (IPA)

/ˈmɑːrdʒənəl ˈɛntrəpi/

例句 Examples

Marginal entropy measures how uncertain we are about (X) alone.
边缘熵衡量的是我们对仅仅 (X) 的不确定性有多大。

In a joint model of ((X,Y)), the marginal entropy (H(X)) can be high even if (X) becomes predictable given (Y).
在 ((X,Y)) 的联合模型中，即使在给定 (Y) 的情况下 (X) 变得可预测，边缘熵 (H(X)) 仍可能很高。

词源 Etymology

marginal 来自拉丁语 margo（“边缘、边界”），在概率论里引申为“从联合分布中把其他变量‘边缘化’（求和/积分）后得到的分布”。
entropy 源自希腊语构词 *en-*（“在……之中”）+ tropē（“转变”），后在信息论中被用来表示“信息不确定性/平均信息量”。

相关词 Related Words

• Entropy
• Joint Entropy
• Conditional Entropy
• Mutual Information
• Marginal Distribution
• Cross-Entropy
• KL Divergence

文学与名著用例 Literary Works

• Claude E. Shannon, A Mathematical Theory of Communication（1948）——信息熵框架的奠基文本（讨论单变量熵与联合情形的关系，为“边缘熵”概念提供基础表达）。
• Thomas M. Cover & Joy A. Thomas, Elements of Information Theory——系统讲解 (H(X))、联合熵与条件熵等分解关系（常以“marginal entropy / entropy of the marginal distribution”表述）。
• David J. C. MacKay, Information Theory, Inference, and Learning Algorithms——在推断与学习语境中频繁使用边缘分布与其熵的概念。